Ngay từ lần gặp mặt đầu tiên năm 1800, Joshua Marshman đã bất đồng với Carey về cách ông chăm sóc bốn cậu con trai. 4, 7, 12 và 15 tuổi, chúng vô lễ, không kỷ cương và thiếu giáo dục. Carey hầu như bỏ bê chúng.

Hannah Marshman viết, "Người đàn ông tốt bụng này nhìn thấy chúng hư hỏng và than khóc về điều đó, nhưng lại quá mềm yếu để sửa trị chúng". Hannah cùng chồng và người bạn, William Ward, đem các cậu bé trở lại cuộc sống nề nếp. Họ cùng nhau uốn nắn chúng trong khi Carey chăm sóc các giống thực vật, hoạt động truyền giáo và tới lui Calcutta để giảng dạy tại Đại học Fort William. Những người bạn này đã đem đến cho các con của Carey tinh thần kỷ luật, giáo huấn và sự cảm thông. Chính nhờ họ - và rất ít từ Carey – mà các con của ông trở nên người hữu ích.